Artisticamente esordisce durante gli anni '70 come chitarrista/cantante nelle cantine rock della periferia romana, fondando il gruppo "Semiramis" e partecipando allo storico raduno rock capitolino di villa Pamphili nella primavera del 1972. Nel 1974 è la voce solista del "Rovescio della Medaglia", altro importante gruppo dell'avanguardia musicale di quegli anni.
Negli anni successivi si apre anche al mondo della musica pop ed esterna la sua forte vena compositiva firmando brani per importanti nomi come Renato Zero e Ornella Vanoni.
Nell'87 vince il Festival di Sanremo nella categoria "nuove proposte" con il brano "La notte dei pensieri". La vittoria a Sanremo genera ovviamente la richiesta di spettacoli ed ecco Michele fare i primi concerti da cantante solista, dove il particolare timbro di voce e le sue doti interpretative cominciano a farsi notare.
Nel 1990 inizia una collaborazione con Alessandro Colombini, produttore storico della musica italiana (Battisti, PFM, Bennato, Dalla, Venditti) con il quale dà vita a un progetto di lavoro, i cui primi risultati sono la canzone "Strade di Roma", che viene presentata a Sanremo 1992 e inizia la collaborazione letteraria con Vincenzo Incenzo nell'album "Adesso" pubblicato nello stesso anno.
A Sanremo '94 Michele Zarrillo presenta una bellissima canzone d'amore dal titolo "Cinque Giorni". Il brano risulterà uno straordinario successo popolare e di vendite, entrando di diritto tra i classici della canzone italiana. Il successo di "Cinque Giorni" genera un nuovo album, "Come uomo tra gli uomini".
La successiva tournée teatrale conferma il formidabile momento artistico di Michele Zarrillo che nel 1995 si dedica interamente alla composizione dei brani per il nuovo album che esce subito dopo Sanremo '96, al quale Zarrillo partecipa con "L'elefante e la farfalla". L'album si intitola appunto "L'elefante e la farfalla".
L'album successivo "L'amore vuole amore", dell'ottobre '97, è una raccolta delle canzoni piu' significative di Zarrillo pubblicate nel primo periodo. Oltre all' aggiunta di due brani inediti, "L'amore vuole amore" e "Ragazza d'argento" sono inseriti "La notte dei pensieri", "Una rosa blu" e "Su quel pianeta libero". Queste canzoni, in particolare "Una rosa blu", ottengono un nuovo strepitoso successo arrivando a quota 600.000 copie di vendite che, aggiunte a oltre 120 concerti effettuati in pochi mesi, portano alla definitiva consacrazione dell'artista.
Lo stesso album viene pubblicato in Spagna (tutte le canzoni sono state ricantate in spagnolo) e il brano "Cinco dias" diventa una hit. La versione italiana dell'album viene distribuita anche in molti Paesi europei. Da meta' novembre a meta' dicembre '98 Zarrillo si esibisce in alcuni concerti oltreoceano e, dato il successo ottenuto, da allora l'invito si rinnova almeno una volta ogni due anni.
Nel giugno 2000 Michele Zarrillo pubblica il nuovo album dal titolo "Il vincitore non c'è", nel quale si dedica ad una ricerca musicale piu' approfondita, capace di far convivere il suo passato di musicista d'avanguardia con il pop d'autore. Nel corso di un tour teatrale, in un momento di profonda ispirazione, Michele compone "L'acrobata", che viene presentato a Sanremo 2001. Questo brano va ad aggiungersi tra i piu' importanti della sua vita artistica.
Successivamente prende corpo un progetto al quale Michele Zarrillo pensa da tempo: realizzare un album 'live', il primo della sua lunga carriera. A tal fine vengono organizzati due concerti-evento che si tengono al Teatro Puccini di Firenze il 22, e all'Horus Club di Roma il 23 dicembre 2001. Nel frattempo Michele compone alcune nuove canzoni. Tra queste, "Gli Angeli" viene prescelta per il Festival di Sanremo 2002, dove Zarrillo torna per la nona volta. L'album live viene pubblicato subito dopo il Festival con il titolo "Le occasioni dell'amore". Nei due cd sono raccolti diciannove grandi successi e tre brani inediti realizzati in studio (la title track, il brano di Sanremo e "Sogno"), per oltre due ore di musica.
Nell'ottobre 2003, a tre anni di distanza dal precedente album da studio, viene pubblicato "Libero Sentire" che contiene dieci canzoni inedite. Con questo album Michele Zarrillo conferma uno straordinario momento di crescita artistica, toccando tematiche di carattere sociale oltre che l'amore, trattato con la consueta sensibilita' e sincerita'.
Michele Zarrillo alterna i successivi impegni tra concerti, sempre affollati da un pubblico caloroso e affezionato, e la composizione di nuovi brani. Dopo un accurato lavoro di studio, a fine 2005 Zarrillo ha il materiale pronto per un nuovo album, quando viene invitato a partecipare al 56° Festival di Sanremo, la manifestazione che ha contrassegnato alcuni momenti tra i piu' importanti della sua carriera.
Al Festival di Sanremo 2006 Michele Zarrillo presenta il brano "L'Alfabeto degli amanti" che dà titolo all'album di inediti che SonyBMG pubblica il 28 febbraio. Intimista e poetico, ma anche polemico e riflessivo, il disco si snoda attraverso undici momenti che toccano le corde più profonde dell'emotività. Michele ha scritto le musiche dei brani e si è avvalso, come ormai accade da più di quindici anni, della collaborazione di Vincenzo Incenzo per i testi.
Nel 2008 Zarrillo partecipa alla 58a edizione del Festival di Sanremo con un brano dal titolo "L'Ultimo film insieme". La canzone è uno dei due inediti contenuti in una doppia raccolta di 32 brani dal titolo "Nel Tempo e nell'Amore" con i più grandi successi di Michele. Vie Parallele è il titolo dell'altro brano inedito dallo stile pop-jazz, inoltre l'album è arricchito dalle nuove versioni di: Come hai potuto, Il Segreto di una Donna, L'elefante e la Farfalla, L'acrobata e I Giorni di una Vita. Nel 2009 esce il cd-dvd dal titolo "Michele Zarrillo Live Roma", registrato il 30-05-2008,in occasione del concerto al “Palalottomatica”.
A distanza di 5 anni dall’ultimo album di inediti (L’alfabeto degli amanti), il 20 settembre 2011 la Sony Music Italy pubblica il nuovo album di Michele Zarrillo dal titolo “Unici al mondo”. Il disco contiene dieci nuovi brani.